The Life Cycle of a Massive Activation: Stochastic Birth, Weight-Decay-Driven Growth, and Competitive Consolidation
大规模激活的生命周期：随机诞生、权重衰减驱动的增长与竞争性巩固
🧭 Transformer 训练动态 · 激活规模调控
Aimpoint Digital Labs, Atlanta, GA, USA · Mistral AI, Paris, FR · New York University, New York, NY, USA
揭示 transformer 中 massive activations 由 AdamW 预条件增长与 weight decay 平衡驱动，权重衰减控制其峰值与衰减
📌 工作参考价值（4 点）
- 在微调 LLM 或生成式推荐模型时，若发现 attention sink 激活异常，可通过增大 weight decay 压制峰值；继续预训练时降低 weight decay 则允许 large activation 继续增长，需结合梯度流稳定性权衡。
- 监控 residual stream 激活时不要只看单个 channel，应关注 sink token 的 collective RMS：梯度衰减由整体规模决定，单通道指标会误导。
- 在做量化或 KV cache 优化前，先检查 massive activation 的规模；weight decay 调度可作为训练期控制激活量级的杠杆，避免异常激活导致量化误差或注意力偏差。
- 对训推一体的推荐/Agent 系统，AdamW 的 weight decay 系数可影响模型激活分布，进而改变推理时 attention sink 强度，需要纳入超参搜索范围。